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(54) Verfahren zum Wiedererkennen von unikaten Bildsignalen und Vorrichtung zur Durchfuhrung des Verfahrens 



) Das Verfahren zum Wiedererkennen von unikaten Bildsi- 
gnalen, insbesondere von unikaten Bildfolgen tastet Lumin- 
anzwerte vorbestimmter Pixel und vorzugswelse vorbe- 
stimmter Gruppen von Pixeln (Cluster) ab, bildet ein Diffe- 
renzsignal zwischen den Luminanzwerten der vorbestimm- 
ten Cluster und aus diesen Differenzwerten eine Signum- 
funktion. Pro Vollbild entsteht damit ein binarer Merkmals- 
vektor, dessen Lange der Anzahl der pro Vollbild abgetaste- 
ten Cluster entspricht. Fur eine vorbestimmte Anzahl aufein- 
anderfolgender Vollbilder (z. B. 51) wird dann ein Bildse- 
quenz-Merkmalsvektor gebildet, der nach jedem Vollbild 
aktualisiert wird. Nach jedem Vollbild wird der aktualisierte 
Merkmalsvektor mit einer Vielzahl von in gleicher Weise 
ermittelten Merkmalsvektoren, die abgespeicherte, wieder- 
zuerkennende Bildfolgen identifizieren, korreliert. Bei einem 
vorbestimmten Korrelationswert, wird ein Signal "Bildfolge 
wiedererkannt" erzeugt. 
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Die Erfindung bezieht sich auf ein Verfahren zum 
Wiedererkennen von unikaten Bildsignalen, insbeson- 
dere von Fernsehbildern und eine Vorrichtung zur 
DurchfQhrung des Verfahrens. FUr verschiedene Zwek- 
ke wie z. B. statistische Auswertungen, Abrechnungen, 
etc. ist es wflnschenswert, festzustellen, ob ein bestimm- 
tes Bild oder eine bestimmte Bildfolge in einer Sendung 
vorhanden ist Beispielsweise mochten Auftraggeber 
von Werbespots im Fernsehen tiberprlifen, ob und wann 
der Werbespot von einem Fernsehsender abgestrahlt 
wurde und auch, ob er in voller L5nge abgestrahlt wur- 
de oder gekilrzt wurde. Ahnliches gilt filr Spielfilrae und 
sonstige Fernsehsendungen. Bisher wurde dies entwe- 
der von Personen ttberprOft, die das vollstandige Pro- 
gramm ilberwachten und entsprechende Aufzeichnun- 
gen machten oder dadurch, daB das vo!lsta\ndige Pro- 
gramm auf Videorecordern aufgezeichnet wurde und 
anschlieBend die Abstrahlung bestimmter Sendungen 
darauf QberprQft wurde. Diese Methoden sind sehr per- 
sonalaufwendig und aufgrund menschlichen Versagens, 
Unaufmerksamkeit, etc. nicht zuverlassig genug. 

Eine ahniiche Problematik stellt sich auch bei der 
Oberwachung von Sprach- und Musiksendungen, wo 
dieses Problem in der EP 0 296 588 A2 dadurch gelost 
wird, daB von den zu untersuchenden Tonsignalen je- 
weils Htillkurven gebildet und diese HQllkurven auf ei- 
nen engen, niedrigen Frequenzbereich bandbegrenzt 
werden. Zeitliche Ausschnitte werden nach Digitalisie- 
rung in einem Speicher als "Masken" gespeichert Bei 
der Oberwachung von Sendungen werden dann die 
bandbegrenzten HOllkurvensignale der zu untersuchen- 
den Tonsignale in gleichlangen Abschnitten in einem 
zweiten Speicher zwischengespeichert Innerhalb des 
Zeitraumes zwischen dem Eintreffen zweier aufeinan- 
derfolgender zu untersuchender Signale wird dann der 
Inhalt des Zwischenspeichers mit alien Masken des er- 
sten Speichers verglichen, wobei bei einem vorgegebe- 
nen Grad der Obereinstimmung ein Erkennungssignal 
erzeugtwird. 

Eine naheliegende Losung fur die Oberwachung von 
Fernsehsendungen ware es, mit diesem aus der 
EP 0 296 588 bekannten Verfahren, die Tonsignale der 
Fernsehfilme, Werbespots, etc. auszuwerten. Dies fuhrt 
aber nicht zu dem gewtmschten Erfolg, da beispielswei- 
se manche Werbespots, bei gleicher Bildfolge, regional 
mit anderem Text oder anderer Musik abgestrahlt wer- 
den. 

Somit ist es erforderlich, das Bild oder die Bildfolge 
selbst auszuwerten und zu uberprtifen, ob eine abge- 
strahlte Bildfolge mit einer Referenzbildfolge flbereins- 
timmt 

Die DE-OS 24 14 809 zeigt einen Mustererkenner, bei 
dem das Bild in Mikrobereiche, d. h. eine Anzahl n von 
Pixeln aufgeteilt wird. Zur Komprimierung der Informa- 
tion werden Helligkeitsfinderungsvektoren bezuglich 
der Mikrobereiche bestimmt Fur eine Mustererken- 
nung ist zusa* tzlich ein Vergleicher zum Vergleichen mit 
mehreren voreingestellten Einheitsvektoren vorgese- 
hen. Ein Vergleicherentscheider vergleicht den erzeug- 
ten Eigenschaftscode fOr jeden Mikrobereich mit einem 
gespeicherten Eigenschaftscode und erzeugt bei ent- 
sprechender Obereinstimmung ein Ausgangssignal 

Verfahren zur Bilderkennung werden in verschiede- 
nen Bereichen der Technik angewandt, beispielsweise 
bei der industriellen Fertigung, urn festzustellen, ob ein 
bestimmter Gegenstand in einer bestimmten Ausrich- 



tung auf einem Fdrderband transportiert wird, vgl DE- 
Al-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE 
Al 40 34 742, DE-C2-30 01 588 oder DE-OS 24 26 803. 
All diese bekannten Verfahren untersuchen einzelne 
5 Bilder aber keine Bildfolgen. Wollte man mit diesen 
Verfahren Bildfolgen von Fernsehbildern von einer 
Wiederholfrequenz von 25 Vollbildern pro Sekunde an- 
wenden, so wflrde der Aufwand unvertretbar ansteigen. 
Aus der DE-C2-34 15 685 ist es bekannt, einen Sze- 

10 nenwechsel bei der Film- und Videoproduktion dadurch 
automatisch zu erkennen, daB eine Szene daraufhin 
tiberwacht wird, ob Anderungen der Bildsignale auftre- 
ten, die auf ein sich innerhalb der Szene bewegendes 
Objekt zuruckzuffihren sind. Das Problem wird dort so 

15 geldst, daB mittlere HeUigkeitswerte eines Bildes gebil- 
det und mit den mittleren Helligkeitswerten eines un- 
mittelbar darauf folgenden Bildes laufend verglichen 
werden, wobei durch Bewegungen verursachte Heilig- 
keitsSnderungen durch nachgeschaltete Filter eliminiert 

20 werden, derart, daB n diskrete Differenzwerte auf einen 
einzelnen Szenenwechselimpuls untersucht werden. Die 
aus dem Vergleich gewonnenen Ergebnisse werden 
dann automatisch bewertet und ausgegeben. Fur die 
Wiedererkennung von als Unikate vorliegenden Refe- 

25 renz-Bildfolgen ist dieses Verfahren nicht geeignet, zu- 
mal gerade bei Werbesendungen fiber relativ lange 
ZeitrSume von einigen Sekunden auch unbewegte 
Standbilder gesendet werden und Szenenwechsel fOr 
das Wiedererkennen ganz bestimmter (unikater) Bild- 

30 folgen nicht aussagekraftig sind. 

Aus der GB-PS 1 603 940 ist ein Kamera-Oberwa- 
chungssystem bekannt, das automatisch feststellt, ob 
sich im Kamerabereich befindliche Objekte bewegen. 
Hierzu werden HeUigkeitswerte von mindestens zwei 

35 unterschiedlichen Bereichen der Szene abgetastet, in 
elektrische Signale umgewandelt und mit entsprechen- 
den Werten einer nachfolgenden Abtastung verglichen. 
Andern sich die HeUigkeitswerte an identischen BUdbe- 
reichen innerhalb kurz aufeinanderfolgender Zeitinter- 

40 vaUe, so ist dies ein sicheres Zeichen ffir ein sich bewe- 
gendes Objekt im Kamerabereich. Der gleiche Grund- 
gedanke wird ebenfalls bei einem Oberwachungssystem 
gemiB der GB-PS 12 79 451 angewandt FUr die Zwek- 
ke der vorliegenden Erfindung ist dieses Verfahren 

45 ebenfalls nicht anwendbar, da langer dauernde Standbil- 
der nicht erkannt werden konnen und da Helligkeits- 
wechsel in aufeinanderfolgenden Bildern nicht genug 
Informationen enthalten, um als Unikat vorliegende 
Bildfolgen einwandfrei wiedererkennen zu kdnnen. 

50 Aufgabe der Erfindung ist es daher, ein Verfahren und 
eine Schaltungsanordnung der eingangs genannten Art 
zu finden, das mit hoher Sicherheit das Wiedererkennen 
von Bildern oder Bildfolgen gestattet. Ein weiteres Ziel 
der Erfindung liegt darin, das Verfahren weitestgehend 

55 in Echtzeit durchzufiihren und auch zu tiberwachen, ob 
eine von vielen Bildfolgen aktuell abgestrahlt wird Da- 
bei soil der technische Aufwand moglichst gering sein, 
was bedingt, die Datenmenge moglichst zu reduzieren, 
was wiederum Voraussetzung dafiir ist, das Verfahren 

60 weitestgehend in Echtzeit ablaufen zu lassen. 

Diese Aufgabe wird durch die im Patentanspruch 1 
angegebenen Merkmale gelost. Vorteilhafte Ausgestal- 
tung und WeiterbUdungen der Erfindung sind den Un- 
teransprfichen zu entnehmen. 

65 Fur die Erkennung eines unikaten Bildes ist es mit 
Sicherheit ausreichend, alle Bildpunkte eines ausge- 
strahlten BUdes mit aUen Bildpunkten eines Referenzbil- 
des zu vergleichen. Dies wurde jedoch zu einer zu ver- 
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gleichenden Datenmenge fUhren, die in einer Echtzeit- 
verarbeitung nicht mehr zu bewaltigen ware. Ein Voll- 
bild einer Fernsehabstrahlung mit beispielsweise 620 
Spaiten und 512 Zeilen enthalt 317.440 Pixel. Wurde 
man hierbei die Luminanzwerte (Helligkeitswerte) aus- 
werten und die Farbinformation unberucksichtigt lassen 
und mit einer Amplitudenaufl&sung der Luminanzwerte 
von 8 Bit arbeiten, was 256 Graustufen entspricht, so 
hatte man pro Vollbild eine Datenmenge von rund 317 
Kbyte pro Bild. Bei 25 Vollbildern pro Sekunde entspra- 
che dies einem zu verarbeitenden DatenfluB von rund 8 
Mbyte pro Sekunde. Ein praktikabler und weitestge- 
hend in Echtzeit arbeitender Ansatz zur Erkennung un- 
ikater Bildsignale muB also versuchen, mit Teilmengen 



10 



Es zeigte sich allerdings auch, daB es keine bevorzugte 
ObjektgrSBe gibt, sondern einen gleitenden Obergang 
von feinster Struktur zu groben, homogenen Fl&chen. 
MeBtechnisch kann man diese Bildeigenschaften durch 
die Erfassung der zeitlich gemittelten Varianz bzw. der 
Standardabweichung eines Zeilenclusters beschreiben. 
Ein vollig homogenes Gebiet konstanter Luminanz 
wOrde die Varianz 0 aufweisen; ein fur den gesamten 
Bildinhalt representatives Cluster hatte die groBtmdgli- 
che Varianz. 

Fig. 1 zeigt die Standardabweichung eines Spielfilms 
(Werbung) in Abhangigkeit von der ClustergrdBe und 
zum anderen die gleiche Messung an bandbegrenztem 
Rauschen (6 Mhz) als Videosignal. Fur die Wahi der 



dieses groBen Datenumfanges auszukommen. Theore- 15 ClustergrdBe gibt es nach diesen Messungen keine ein- 

tisch genOgt schon ein einzelnes Bildelement (Pixel) urn deutigen, scharf abgrenzbaren Kriterien. Sie sollte gera- 

bei storungsfreier Cbertragung das gesuchte Bild wie- de so groB sein, daB die genannten Zeitprobleme unter- 

der zu finden. Dabei wird man allerdings eine groBe druckt und der EinfluB des Rauschens gemindert wird. 

Anzahl anderer Bilder identifizieren, die zufallig in die- Sie soUten aber nicht so groB sein, daB relevante Bildde- 

sem einen Pixel mit dem gesuchten Bild ubereinstimmen 20 tails durch die Mittelwertbildung nicht mehr erkannt 

(Falscherkennung). Ein Problem besteht also darin, eine werden. Als vernOnf tiger KompromiB wird bei einem 

m6glichst geringe aber doch ausreichende Zahl von bevorzugtem Ausfuhrungsbeispiel der Erfmdung eine 

Bildmerkmalen zu definieren, die das MaB der Falscher- ClustergrdBe von 5x5 Pixeln, angeordnet im Quadrat, 

kennung auf ein fur den jeweiligen Anwendungszweck gewahlt Diese Wahl ist zunachst jedoch nur als erste 

vertretbares MaB reduzieren. 25 Naherung an ein relatives Optimum anzusehen und 

kann in gewissen GroBen geandert werden. Bei dieser 



Bei der Erfindung werden die Luminanzwerte (Hel- 
ligkeitswerte) verschiedener Pixel erfaBt Ein einziges 
Pixel ist wegen des immer vorhandenen Rauschens fur 
einen Vergleich aber nicht geeignet Wird beispielswei- 
se der Luminanzbereich von 0 V bis 1 V mit 8 Bit digita- 30 
lisiert codiert, so reprasentiert eine Quantisierungsstufe 
der Digitalisierung einen Spannungsbereich von ca. 4 
mV. Bei einem betrieblichen St6rabstand von 40 dB be- 



ClustergroBe wird der Storabstand im gunstigsten Fail 
urn den Faktor 5 entsprechend 14 dB durch Mittelung 
verbessert 

Bei der Erfindung werden mehrere Mittelwerte sol- 
dier Cluster miteinander "verglichen". Es steUen sich die 
Fragen, wie viele Cluster verwendet werden, wie diese 
in Form von "Masken" auf dem Bild verteilt werden und 
wie sie zu vergleichen sind. Aufgrund der in Echtzeit zu 



zogen auf einen 700 mV WeiBwert betragt die effektive 

St6ramplitude 7 mV und ist damit doppelt so hoch wie 35 verarbeitenden Datenmenge, der heutigen Arbeitsge- 

eine Quantisierungsstufe. Der Luminanzwert eines Pi- schwindigkeit von Hardware-Bausteinen und den Ge- 

xels schwankt somit zufallig urn mehrere Quantisie- nauigkeitsanforderungen an die Bilderkennung kommt 

rungsstufen. Beim Vergleich zweier entsprechender Pi- die Erfindung zu der Erkenntnis, daB es ausreicht, aus 

xel milBte man ein mehrere Stufen umfassendes Tole- jedem Vollbild von 40 ms Dauer ein Merkmal von 10 Bit 

ranzfenster zugrundelegen. Zusatzlich sprechen gegen 40 abzuleiten. Hierzu schlagt die Erfindung in einem Aus- 



die Verwendung eines einzelnen Pixels als Vergleichs- 
merkmal folgende Grunde: Bei der Bildspeicherung, 
-tibertragung und der -erfassung kann es je nach ver- 
wendetem Verfahren zu zeitlichen Ungenauigkeiten 
kommen, die sich in einer zufailigen Positionsanderung 
des Pixels, bezogen auf die Spaiten oder Zeilen des Bil- 
des, bemerkbar machen. Diese zeitliche Ungenauigkeit 
kann im Bereich von einigen Nanosekunden liegen. Es 
wdrden dann Pixel miteinander verglichen, die in Wirk- 
lichkeit keinen Bezug zueinander haben. 

Urn diese Schwierigkeiten zu umgehen, werden bei 
der Erfindung sogenannte Cluster gebildet, die aus meh- 
reren Pixeln bestehen. Dabei wird der mittlere Lumin- 
anzwert der Pixel eines Clusters oder die Summe der 
Luminanzwerte der Pixel eines Clusters bestimmt. Vor- 
zugsweise sind die Cluster aus einem raumlich zusam- 
menhangenden Bereich des Bildes entnommen und wie- 
derum hier vorzugsweise aus einem quadratischen Be- 
reich. 
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fuhrungsbeispiel vor, 10 Cluster pro Vollbild zu verwen- 
den und die mittlere Luminanz von in einer vorgegebe- 
nen Reihenfolge "benachbarter" Cluster miteinander zu 
vergleichen. Der Vergleich besteht hier in einer Diffe- 
renzbiidung der Luminanzwerte. Aus dieser Differenz 
wird dann das mathematische Vorzeichen (Signumfunk- 
tion) digital codiert. Mit anderen Worten wird bei dem 
Vergleich nur untersucht, welcher von zwei miteinander 
zu vergleichenden Clustern heller ist, d. h. einen grflBe- 
ren mittieren Luminanzwert hat Urn auch den Fall zu 
erfassen, daB zwei "benachbarte" Cluster innerhalb der 
bei der Digitalisierung auftretenden Quantisierung glei- 
che Helligkeitswerte haben, wird . der Vergleich wie 
folgt durchgeftihrt: 

Cluster (n) < Cluster (n + 1) = 1 
Cluster (n) > = Cluster (n + 1) « 0. 

Zusatzlich kann ftir den Vergleich noch eine Hystere- 



Fur die Auswahl der GroBe der Cluster bei der Erfin- 6 o se vorgesehen sein, dergestalt, daB die erste Bedingung 



dung waren folgende Oberlegungen maBgeblich: Stati- 
stische Messungen an tausenden von Bildern haben ge- 
zeigt, daB der von der Norm vorgesehene Spektralbe- 
reich filr Videosignale von 5 Mhz bei weitem nicht aus- 
genutzt wird. Demnach bestehen Bilder im Mittel iiber- 
wiegend aus tieffrequenten Informationen, was auch aus 
dem Bildinhalt verstSndlich wird, wo typische Objekte 
mit bestimmter Mindestausdehnung dargestellt werden. 



'Cluster (n) < Cluster (n + 1)" nur dann als erffillt 
angesehen wird, wenn die Differenz der Luminanzwerte 
der beiden zu vergleichenden Cluster groBer als ein 
vorgegebener Schwellwert ist, wahrend fur alle anderen 
65 Falle die zweite Bedingung "Cluster (n) > = Cluster (n 
+ 1) M als erfullt angesehen wird. Der Schwellwert kann 
beispielsweise zwei Digitalisierungsstufen betragea 
Bei zehn Clustern je Bild ergeben sich somit zehn 
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Differenzen, die sich nach der entsprechenden Vorzei- Standbildern der Inforraationsgehait entsprechend der 

chencodierung als 10 Bit darstellen lassen. Bei diesem An2ahl der m6glichen Masken verdoppelt oder verviel- 

Vergleich wird der zehnte Cluster eines Vollbildes mit facht Die Clusteranordnungen sind dabei moglichst so 

dem ersten Cluster des nfichsten Vollbildes verglichea zu wahlen, daB sie untereinander nicht zu Korrelationen 

Es ware aber auch moglich, den zehnten Cluster eines 5 ftthren, die Clusteranordnungen also orthogonal zuein- 

Volibildes mit dem ersten Cluster desselben Vollbildes ander sind, d. h. die Anordnungen der Cluster der beiden 

zu vergleichen. Diese Vorzeichencodierung (Signum- Masken sind urn 90° gegeneinander gedreht 

funktion) hat nicht nur den Vorteil einer enormen Da- Bei der Erzeugung des Testmusters und beim Vor- 

tenreduktion, sondern auch, dafl der Code unempfind- gang der Bilderkennung wird also beispielsweise mit 

lich gegenflber Pegelschwankungen der Luminanzwer- 10 zwei Masken gearbeitet, beim ersten Bild mit Maske 1, 

te beim zweiten Bild mit Maske 2, usw, & h. bei ungerad- 

Die Lage der Cluster und die Reihenfolge ihrer Ab- zahligen Bildern mit Maske 1, bei geradzahligen Bildern 

frage ergibt sich indirekt aus dem Oberlegungen zur mit Maske 2. Beim KorrelationsprozeB, d. h. beim Ver- 

ClustergroBe. Wfihrend bei der Clusterbildung m6g- gleich der gespeicherten Merkmalsvektoren mit den ak- 

lichst korrelierte Bildelemente, d. h. Pixel mit innerer 15 tuellen Merkmalvektoren, ergibt sich das Problem, daB 

Bindung der Bildbereiche zu einem Cluster zusammen- es bei dem zu vergleichenden Bild unbekannt 1st, mit 

gefafit wurden, mflssen fOr die Lage der Cluster und die welcher der beiden Masken das entsprechende Testmu- 

Reihenfolge ihrer Abfrage die einzelnen Cluster zur ster codiert wurde. Zur Losung dieses Problems wird 

Verbesserung des Informationsgehaltes mdglichst un- daher jedes Testbild mit beiden moglichen Clusteran- 

abhangige Bildbereiche reprasentieren. Ihre Abfrage- 20 ordnungen (Masken) codiert und es werden zwei unter- 

reihenfolge wird daher so gewahlt, daB sich im Mittel schiedliche, zueinander orthogonale Testsequenzen er- 

eine moglichst groBe Sprungweite ergibt Der Abfrage- zeugt und gespeichert Die Abtastung des laufenden 

weg wird dann maximal. Die Cluster kdnnen statistisch Programmes erfolgt aber nur mit einer Sequenz, so daB 

im Bild angeordnet werden und sind vorzugsweise m6g- auch nur ein laufender Merkmalsvektor gebildet wird. 

lichst gleich tlber den gesamten Bildbereich verteilt 25 Dieser muB dann auch nicht mit beiden gespeicherten, 

Da pro Vollbild nur eine sehr kleine Anzahl, bei 10 zueinander orthogonalen Test-Merkmalsvektoren ver- 

Clustcrn pro Vollbild also nur 10 Bit verwendet werden, glichen werdea Die Korrelation erfolgt vielmehr nur 

urn ein Bild zu identifizieren, ist die Wahrscheinlichkeit mit dem gespeicherten Merkmalsvektor, der mit der 

einer Falscherkennung noch recht hoch. Mit 10 Bit lie- gleichen Clusteranordnung (Maske) beginnt, wie das 

Ben sich theoretisch nur 2 10 » 1024 verschiedene Bilder 30 laufende Programm Wenn beispielsweise grundsatzlich 

identifizieren. Jedes nur denkbare Bild lieBe sich dann bei alien Testmustern das erste, also ungerade Bild mit 

eindeutig einer Klasse von 1024 m6glichen Bildern zu- der Maske 1 codiert wird, dann wird es nur mit dem 

ordnen. FOr die Wiedererkennung unikater Bildsignale Muster des laufenden Programmes korreliert, das zur 

ist damit aber ein Merkmalsvektor von 10 Bit zu kurz. Zeit ebenfalls mit Maske 1 beim ersten Bild beginnt 

Die Erfindung schl&gt daher weiter vor, einen lfinge- 35 Durch diese orthogonalen Anordnungen von zwei 

ren Merkmalsvektor zu bilden, durch entsprechendes Masken steigt der Korrelationsaufwand nicht, es muB 

Abtasten mehrerer aufeinanderfolgender Bilder. In ei- nur sichergestellt sein, daB das jeweils "richtige" Test- 

nem AusfQhrungsbeispiel der Erfindung werden 51 auf- muster zur Verfugung steht Da bei der Abtastung des 

einanderfolgende Bilder ausgewertet, was bei 40 ms pro aktuelien Bildes bekannt ist, mit welcher der beiden 

Vollbild dann einer Bildfolge von 2,04 Sekunden ent- 40 Masken die Abtastung begonnen wurde, ist eine eindeu- 

spricht Man erhalt dann bei 51 Bildern a 10 Bit einen tige Zuordnung mdglich, so daB dann bei der Korrela- 

Merkmalsvektor von 510 Bit tion auf denjenigen gespeicherten Merkmalsvektor zu- 

Bei der beschriebenen Form des Datenformates mit gegriffen werden kann, der mit derselben Maske be- 

51 Bildern erhalt man sehr gute Erkennungsergebnisse ginnt 

mit Obereinstimmungen von tiber 90%. Gelegentliche 45 Eine Modifikation der Erfindung sieht vor, daB bei 

zufallige Obereinstimmungen mit anderen Bildfolgen gleich langem Merkmalsvektor flir eine Bildsequenz das 

weisen einen Grad von hdchstens 75% auf. Bei einer Verhaltnis von Cluster pro Bild und Anzahl der aufein- 

Erkennungsschwelle von ca. 85% betrug die Erken- anderfolgenden Bildern verandert werden kann. Be- 

nungsrate in Laborversuchen mit einem Gerat nach der schrankt man beispielsweise den Merkmalsvektor auf 
Erfindung 100% bei 0% Falscherkennungen. Dies gait 50 510 Bit,sok6nnen in einem Extremfall 510 Bit pro Voll- 

fQr Bildsequenzen mit starkem szenischen Wechsel. bild verwendet werden, so daB also nur noch ein Voll- 

Unterscheiden sich die Bilder innerhalb einer Se- bild verglichen wird. Im anderen Extremfall kdnnen 510 

quenz nicht, beispielsweise wenn mehrere oder alle auf- Vollbilder mit je nur einem Cluster verglichen werden. 

einanderfolgende Bilder gleich sind, was bei Standbil- Dazwischen sind eine Vielzahl von anderen Kombina- 
dern der Fall ist, ist der Informationsgehalt des Merk- 55 tionen mdglich. Anders ausgedruckt kann man grund- 

malsvektors von 510 Bit zu gering und es kommt zu satzlich von 510 vorzeichencodierten Clusterdifferen- 

Falscherkennungen. Der Merkmalsvektor von 510 Bit zen sprechen, die bedarfsgemHB gleichmSBig liber eine 

ist ja dann streng periodisch aufgebaut mit einer Perio- entsprechende Anzahl von Bildern verteilt werden k6n- 

dizitat von 1 0 Bit nen. Man kann auch noch weiter verallgemeinern indem 

Nach einer Weiterbildung der Erfindung laBt sich der so grundsatzlich bei jeder Testmustergewinnung von je- 

Informationsgehalt jedoch deutlich steigern, indera auf- dem Bild eine Vielzahl von Clusterdifferenzen codiert 

einanderfolgenden Bildern unterschiedliche Merkmale wird und es wird jedem Referenzmuster ein Schliissel- 

entnommen werden. Nach diesem Ausf Ohrungsbeispiel wort mitgegeben, das angibt, mit welcher Teilmenge des 

der Erfindung wird also abwechselnd mit zwei "Masken" Testmusters korreliert werden solL Auf diese Weise las- 
fiir die Anordnung der Cluster gearbeitet Selbstver- 65 sen sich bildgenaue z. B. auf ein Senderlogo abgestellte 

standlich liegt es auch im Rahmen der Erfindung mit und szenenorientierte Referenzmuster erzeugen. 

mehr als zwei solcher Masken zu arbeiten, die dann Im folgenden wird die Erfindung anhand eines Aus- 

zyklisch angewandt werden. Dadurch wird selbst bei fuhrungsbeispieles im Zusammenhang mit der Zeich- 
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nung ausf ilhrlicher erlautert. Es zeigt wobei jedes Vollbild 1 0 Bit des Musters einnimmt. 

Fig. 1 Ein Diagramm der Standardabweichung eines Wie schon oben erw&hnt, besteht jeder Cluster aus 

Spielfilms in Abhangigkeit von der ClustergroBe (An- mehreren Pixeln, die hier beispielsweise in einem Recht- 

zahl der Pixel); eck von 5x5 Pixel angeordnet sind. Die Pixel jedes 

Fig. 2 eine schematische Darstellung der Anordnung 5 Clusters sollen moglichst nahe beieinander liegen, um so 

der Cluster mit zwei zueinander orthogonalen Masken vom Bildinhalt her moglichst miteinander zu korrelie- 

und das sich hieraus ergebende Referenzmuster; ren, d. h. hinsichtlich ihres Luminanzwertes eine innere 

Fig. 3 eine schematische Darstellung zur Erlauterung Bindung zueinander haben. 

des Korrelationsvorganges bei Verwendung von zwei Fig. 3 zeigt schematisch den Vorgang der Korrelation 

alternierend wirksamen Masken (Anordnung der Clu- 10 eines Referenzmuster aus einem laufenden Programm 

ster). mit gespeicherten Testmustern. Zur Erzeugung des 

Fig. 4 ein Diagramm der Korrelationsergebnisse bei Testmusters wird jede Bildfolge (hier 51 Bilder) mit bei- 

"richtiger" und "falscher" Korrelation des laufenden Pro- den Masken nach Fig. 2a und Fig. 2b abgetastet Die mit 

grammes mit den unterschiedlichen Testmustern; Maske 1 beginnende Abtastung bildet einen ersten 

Fig. 5 ein Blockschaltbild eines Gerates zur Signal- 15 Merkmalsvektor, der in einem Testspeicher 1 abgespei- 

vorverarbeitung filr die Erkennung unikater Bildsignale chert ist. Die mit Maske 2 beginnende Abtastung bildet 

nach einer ersten Variante der Erfindung; einen zweiten Merkmalsvektor, der in einem Testspei- 

Fig. 6 ein ahnliches Blockschaltbild fur eine zweite cher 2 abgespeichert wird. Die beiden Merkmalsvekto- 
Variante nach der Erfindung; ren sind also zueinander orthogonal. Das laufende Pro- 
Fig. 7 ein vereinfachtes Blockschaltbild eines Gerates 20 gramm (Referenzmuster) wird in einer vorgegebenen 
zur DurchfUhrung der Korrelation; und und damit bekannten Maskenfolge abgetastet, d. h. ent- 

Fig. 8 ein detaillierteres Blockschaltbild eines Gerates weder beginnend mit Maske 1 oder Maske 2. Wird das 

zur Durchfuhrung der Korrelation nach einem Ausf tin- Referenzmuster entsprechend Fig. 2c beginnend mit 

rungsbeispiel der Erfindung. Maske 1 erzeugt, so muB der Vergleich mit dem im 

Fig. 1 macht deutlich, daB die Standardabweichung 25 Testspeicher 1 abgelegten ersten Merkmalsvektor er- 
von Bildfolgen (hier eines Werbefilmes) mit der Cluster- folgen. Beginnt die Abtastung dagegen mit der Maske 2 
groBe ansteigt (ClustergroBe = Anzahl der Pixel pro gemaB Fig. 2b so erfolgt der Vergleich mit dem im Test- 
Cluster), so daB es keine eindeutigen, scharf abgrenzba- speicher 2 abgelegten Merkmalsvektor. 
ren Kriterien fur die ClustergroBe gibt, vielmehr steht es Da jeweils nach jedem Vollbild die Maske gewechselt 
dem Fachmann frei, aufgrund anderer, oben genannter 30 wird und nach jedem Vollbild ein Vergleich zwischen 
Kriterien, die ClustergrSBe auszuwahlen. Ein dabei zu dem Testmuster und dem Referenzmuster stattfindet, 
beachtendes Kriterium liegt im Rauschen des Videosi- wird der Vergleich immer abwechselnd mit dem im 
gnales, das ab einer ClustergroBe von etwa 8 Pbcel im Testspeicher 1 bzw. dem im Testspeicher 2 abgelegten 
wesentlichen konstant bleibt. Merkmalsvektor erfolgen. Pro Referenzmuster muB 

Fig. 2a zeigt schematisch die Anordnung von zehn 35 aber trotzdem jeweils nur ein Vergleich durchgefuhrt 

Clustern 1 - 10 bzw. deren Verteilung uber die Oberfla- werden. 

che eines Bildes. Durch die Pfeile ist die jeweilige "Rei- Fig. 4 zeigt den Unterschied zwischen einem Ver- 
henfolge" gekennzeichnet, in der die Cluster abgefragt gleich mit dem "richtigen" und einen mit dem "falschen" 
werden, also als (zeitlich) "benachbart" angesehen wer- Testmuster. Bei einem falschen Testmuster wurde also 
den. Zwischen jeweils benachbarten Clustern wird das 40 der Vergleich im Ergebnis um ein Bild versetzt erfolgen, 
Vorzeichen der Differenz der Luminanzwerte der Clu- was wegen der Orthogonalitat beider Anordnungen kei- 
ster gebildet, also beispielsweise zwischen Cluster 1 und ne Obereinstimmung ergabe. Die obere Kurve zeigt das 
Cluster 2, zwischen Cluster 2 und Cluster 3 usw. bis fur Obereinstimmung typische Maximum. Die Korrela- 
zwischen Cluster 9 und Cluster 10. Der letzte Cluster tion deutet sich also schon einige Bilder vorher an, er- 
(hier Cluster 10) eines Vollbildes wird dann mit dem 45 reicht das Maximum und fallt dann in ahnlicher Weise 
ersten Cluster (Cluster 1) des nachsten Vollbildes vergli- wieder ab. Durch die orthogonalen Anordnungen der 
chen oder bei einer Variante der Erfindung mit dem beiden Masken steigt der Korrelationsaufwand nicht. 
ersten Cluster desselben Vollbildes. Die in Fig. 2a dar- Fig. 5 zeigt ein Blockschaltbild eines Gerates ftir die 
gestellte Anordnung und Reihenfolge der Cluster bildet Signalvorverarbeitung. Das ubliche Videosignal eines 
eine erste "Maske". 50 Fernsehers wird einem Videoeingang 1 1 zugef uhrt Die- 
Fig. 2b zeigt eine entsprechende zweite Maske, die ses Signal entspricht der CCIR-Norm und ist vom Typ 
gegeniiber der ersten Maske der Fig. 2a um 90 Grad BAS mit einer exakt auf 0 Volt geklemmten Schwarz- 
gedreht ist, zu dieser also orthogonal ist schulter. Die Bildamplitude betragt 0,7 V. Die Sync-Am- 
Bei der Auswahl "benachbarter" Cluster ist darauf zu plitude -03 V. Somit ist dem Videoeingang 1 1 ein han- 
achten, daB sie raumlich auf dem Bild einen groBen Ab- 55 delsubliches Gerat vorgeschaltet, das den Farbtrager 
stand zueinander haben, damit "benachbarte" Cluster beseitigt und die Schwarzschulter auf 0 Volt festklemmt. 
moglichst voneinander unabhangige Bildbereiche re- Aus diesem Videosignal wird in einem ersten Baustein 
prasentieren. Die Reihenfolge ist daher so festzulegen, 12 eine Taktaufbereitung vorgenommen. Derartige 
daB die raumlichen Abstande "benachbarter" Cluster im Bausteine sind im Handel erhaltlich und extrahieren aus 
Mittelwert mdglichst groB sind. 60 dem Videosignal folgende Synchronsignale: Austastim- 
Fig. 2c zeigt, wie ein Muster (Merkmalsvektor) durch puis BL, Zeilensynchronimpuls H, Halbbildsynchronim- 
alternierendes Umschalten zwischen den beiden Mas- puis V und einen Vollbildimpuls FR. 
ken nach Fig. 2a und Fig. 2b erzeugt wird. Jeweils ein Mit Hilfe dieser Signale werden in einem als Steuer- 
Vollbild wird mit der ersten Maske nach Fig. 2a abgeta- zentrale bezeichneten Block 13 ein Spaiten- und ein 
stet, das nachste Vollbild mit der Maske nach Fig. 2b, 65 Zeilenzahler gespeist, mit Hilfe derer Ausgangssignale 
usw. Im gewahlten Ausfuhrungsbeispiel mit einer Se- jedes Pbcel eines Fernsehbildes nach Spalte und Zeile 
quenz von 51 Vollbildern pro Merkmalsvektor ergibt eindeutig identifiziert werden kann. Mittels eines als Co- 
sich dann das schematisch in Fig. 2c gezeigte Muster, dierfeld bezeichneten Blockes 14 werden die einzelnen 
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Cluster, d. h. die zu den einzelnen Clustern zu rechnen- Komparatoren umgeschaltet werden und auch der ent- 

den Pixel definiert, so daB dann mit Hilfe der in der sprechende Komparator 17 n der den Vergleich zwi- 

Steuerzentrale 13 vorhandenen Zeilen- und Spaltenzah- schen dem n-ten Cluster und dem (n-l)-ten Cluster 

ler die jeweiligen "Adressen" der auszuwahlenden Pixel durchfuhrt 

bestimmt sind. Die Steuerzentrale 13 steuert Halbleiter- 5 Noch eine weitere Variante der Erfindung besteht 

schalter 15 1, 152 .. . 15 n +2 an, wobei n die Anzahl der darin, daB der Vergleich nur innerhalb eines Vollbildes 

abzutastenden Cluster pro Vollbild ist Es sind also zwei in der Weise zyklisch erfolgt, daB der n-te Cluster mit 

Halbleiterschalter mehr vorgesehen als Cluster pro dem ersten Cluster desselben Vollbildes verglichen 

Vollbild abgetastet werden. Jeder Halbleiterschalter ist wird. 

mit einem Integrator I61, 162 . . . 16 n +2 verbunden, der- 10 Fig. 6 zeigt eine zweite Variante fOr die Signalvorver- 
art, daB bei geschlossenem Halbleiterschalter 15 der arbeitung. Der Videoeingang 1 1, die Taktaufbereitung 
Videoeingang auf den Eingang des zugeordneten Inte- 12 und das Codierfeld 14 haben im Prinzip die gleiche 
grators 16 durchgeschaltet wird. Wird durch die Steuer- Funktion wie im AusfOhrungsbeispiel die Fig. 5. Ahnli- 
zentrale festgestellt, daB eines zu einem Cluster i gehd- ches gilt fOr die Steuerzentrale 13, die hier aber zusatz- 
rendes Pixel am Videoeingang anliegt, so wird der ent- 15 lich die Funktion als AdreBgenerator fflr einen RAM- 
sprechende Schalter durch ein Signal li geschlossen und Speicher (Random Access Memory) Obernimmt Die 
die zu diesem Pixel gehdrende Helligkeitsinformation Taktaufbereitung 12 erzeugt dieselben Synchronsignale 
(Luminanzwert) wird dem zugeordneten Integrierer 16j wie im AusfOhrungsbeispiel der Fig. 5 und fOhrt diese 
zugefflhrt Auf diese Weise liefert der Ausgang des Inte- der Steuerzentrale zu. Dort wird ein Bildpunkttakt (Pi- 
grators nach Ablauf eines Vollbildes die Summenlumi- 20 xeltaktca. 12— 14 Mhz) erzeugt, der einen Analog/Digi- 
nanz aller zum Cluster i gehorenden Pixelwerte. Die talwandler 20 veranlaBt, ca. alle 70 ns einen aktuellen 
Ausgange jeweils zweier nacheinander zu bewertender Luminanzwert des Videosignales in ein 8-Bit- Wort urn- 
Cluster werden einem Komparator 17 zugeftihrt, der an zuwandeln. Gleichzeitig erzeugt die Steuerzentrale 13 
seinem Ausgang eine logische 1 ausgibt, wenn der Lu- aus den Werten der Zeilen- und Spaltenzahler eine 
minanzwert des Clusters i grdBer ist als der des Clusters 25 RAM-Adresse, unter der der aktuell gewandelte Lumin- 
(i + 1). Sind alle fOr einen Vollbildzyklus definierten Clu- anzwert kumulierend gespeichert wird. Hierzu wird ei- 
ster erfaBt und verglichen, speichert ein Taktimpuls CI ner arithmetisch-logischen Einheit (ALU) 21 zum einen 
alle Ausgangswerte der Komparatoren 17 in Datenspei- der bisherige Speicherinhalt und zum anderen das Er- 
chern 18 und stellt deren Bits als Teil-Merkmalsvektor gebnis des AD-Wandlers 20 zugefQhrt und der Ausgang, 
(fOr ein Vollbild) einer Korrelationseinrichtung zur Ver- 30 d. h. die Summe mit gleichem Takt unter der gleichen 
fOgung. Jeder solche Teil-Merkmalsvektor enthalt die Adresse in einen der beiden RAM-Speicher 22 oder 23 
Daten eines Vollbildes. abgespeichert Jedem Ouster entspricht dabei eine 
Da jedem Vollbild n Cluster (z. B. n = 10) entnommen Speicherzeiie. Bei den Speichern handelt es sich urn so- 
werden, die n-te Differenz jedoch durch Vergleich mit genannte Dual-Port-RAMs, die an ihrem anderen Port 
dem ersten Cluster des nachsten Bildes zustandekommt, 35 asynchron wieder ausgelesen werden kdnnen. 
mOssen n + 2 Halbleiterschalter und Integratoren vor- Ein Mikroprozessor 24 liest aus dem RAM 22 oder 23 
handen sein. Einer der beiden Integratoren 16 n +i oder die kumulierten Luminanzwerte aus, bildet die Diffe- 
16 n +2 speichert die Information des n-ten Clusters des renzwerte zwischen "benachbarten" Clustern und gibt 
vorhergehenden Bildes; der andere Integrator 16„+2 deren Vorzeichen an einen weiteren Speicher 25, der 
oder 16 n + i nimmt die Information des letzten Ousters 40 hier mit Ausgabelatch bezeichnet ist, weiter. An den 
des aktuellen Bildes auf und speichert sie fUr den Ver- Ausgangen dieses Ausgabelatch 25 stehen dann die glei- 
gleich beim nachstfolgenden Bild. FOr diese beiden Inte- chen Bits als Bild-Merkmalsvektor an, wie an den Spei- 
gratoren gilt eine besondere Regelung. Sie werden f Or cherplatzen I81 — 18n im AusfOhrungsbeispiel der Fig. 5. 
jedes zweite Vollbild abwechselnd aktiviert Nach Ab- Auch hier ist wie im AusfOhrungsbeispiel der Fig. 5 
lauf eines Bildes und vor Beginn des neuen Vollbildes 45 ein "Vollbildflag" vorgesehen, das aus einem Speicher 19 
werden alle Integratoren bis auf einen geloscht, d. h. auf abzulesen ist 

0 zurUckgesetzt Im einfachsten Fall besteht ein Integra- Im AusfOhrungsbeispiel der Fig. 6 werden zwei iden- 

tor aus einem RC-Glied, dessen Kondensator durch ei- tische Speicher 22 und 23 verwendet, wobei immer in 

nen Reset-Impuls und einen elektronischen Schalter einen Speicher das aktuelle Bild eingelesen wird, wah- 

bzw. einen FET-Transistor entladen wird 50 rend das andere verarbeitet wird. Die Umschaltung er- 

Zusatzlich stellt die Steuerzentrale 13 noch ein Signal folgt flber die Steuerzentrale 13 durch entsprechende 

zur VerfOgung, das als "Vollbild-Flag" der Korrelations- Ansteuerungen der Eingange fttr Lesen (Rd), Schreiben 

einrichtung die GOltigkeit der in den Speichern 18 ge- (Wr) und Takt (CI). 

speicherten Werte anzeigt Zur Speicherung dieses In einer praktischen Ausffihrungsform kdnnen die 

Flags ist ein weiterer Speicher 19 vorgesehen. 55 beiden Speicher 22 und 23 natOrlich in einen integrier- 

Alternativ kdnnte vorgesehen sein, nur n + 1 Halblei- ten Schaltkreis zusammengefaBt sein, ebenso wie auch 

tcrschalter und n + 1 Integratoren vorzusehen und die die Funktion des Mikroprozessors 24 und der Steuer- 

Information des n-ten Clusters abwechseln bei jedem zentrale mit AdreBgenerator 13. 

Vollbild in den Integrator n oder den Integrator n + 1 Das Codierfeld 14, das auch hier die Zuordnung der 

einzuschreiben. Die Ansteuerung der entsprechenden 60 Pixel (Spalten- und Zeilenadresse) zu den einzelnen CIu- 

Schalter 15 n und 15 n + 1 wOrde zus&tzlich zu den AdreB- stern vornimmt, ist in einem Programmspeicher zu dem 

signalen aus der Steuerzentrale 13 Ober einen Umschal- Mikroprozessor untergebracht In Fig. 6 sind lediglich 

ter erfolgen, der durch einen bis zwei zahlenden Bin&r- Funktionsblocke zum besseren Verstandnis getrennt 

zahler oder beispielsweise ein Flip-Flop angesteuert gezeichnet 

wird. Entsprechend mOBte der letzte Komparator 17n, 65 Fig. 7 zeigt ein stark vereinfachtes Blockschaltbild ei- 
der den Vergleich zwischen dem ersten Cluster des ak- ner Korrelationseinrichtung. Eine SignaJvorverarbei- 
tuellen Vollbildes mit dem n-ten Cluster des vorherge- tung 26 entsprechend den AusfOhrungsbeispielen der 
henden Vollbildes durchfOhrt, zwischen diesen beiden Fig. 5 oder 6 liefert jeweils bei Beendigung der Abta- 
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stung eines Vollbildes einen Teil-Merkmalsvektor, der 
beim hier beschriebenen Ausfiihrungsbeispiel eine LSn- 
ge von 10 Bit hat Jeweils 51 aufeinanderfolgende Voll- 
bilder ergeben einen Merkmalsvektor von 510 Bit In 
einer "Lernphase" werden von Testmustern (ausgewahl- 
te Bildfolgen) entsprechende Merkmalsvektoren er- 
zeugt und in einem Speicher 28 abgespeichert Dies ist 
durch die gestrichelte Linie zwischen der Signalvorver- 
arbeitung 26 und dem Speicher 28 angedeutet, sowie 
durch einen Schalter 70, der in der "Lernphase" ge- 
schlossen ist Der Speicher enthalt eine Anzahl m Merk- 
malsvektoren. 

WShrend des normalen Betriebes erzeugt die Signal- 
vorverarbeitung 26 ebenfalls alle 40 ms einen Teilmerk- 
malsvektor von 10 Bit Lange. Die Teilmerkmalsvekto- 
ren werden in ein Register 29 eingeschrieben, das insge- 
samt eine Anzahl n (beispielsweise 51) Teilbildvektoren 
enthalt. Nach jedem Vollbild wird der letzte Teilbild- 
vektor neu eingeschrieben und der erste Teilbildvektor 
gel6scht Damit wird der Merkmalsvektor (tnit einer 
Lange von 510 Bit) also laufend aktualisiert Diese Ak- 
tualisierung erfolgt durch eine Steuerung 27, die von 
dem Speicher 19 der Fig. 5 oder 6 ein Signal fur die 
Beendigung der Abtastung eines Vollbildes erhalt So- 
bald ein Teil-Merkmalsvektor fur ein neues Vollbild in 
das Register eingeschrieben ist, ruft die Steuerung 27 
aus dem Speicher 28 nacheinander alle dort gespeicher- 
ten Merkmalsvektoren ab und schreibt diese zeitlich 
nacheinander, in ein Register 30. Die beiden Register 29 
und 30 sind mit einem Vergleicher 31 verbunden, der die 
Registerinhalte vergleicht und bei einem vorgegebenen 
Grad der Obereinstimmung (z. B. 85 bis 95%) ein Signal 
"erkannt" an die Steuerung 27 abgibt Innerhalb der 40 
ms, die bis zum Eintreffen des nachsten Teil-Merkmals- 
vektors des letzten Vollbildes verstreichen, vergleicht 
der Vergleicher alle vollstandigen Merkmalsvektoren 
(Anzahl m) die im Speicher 28 abgespeichert sind. 

Werden die Registerinhalte der Register 29 und 30 als 
"ubereinstimmend" erkannt, so kann die Steuerung 27 
das weitere Auslesen von Merkmalsvektoren aus dem 
Speicher 28 abbrechen. Zusatzlich registriert die Steue- 
rung 27 die Adresse desjenigen Merkmalsvektors im 
Speicher 28, bei dem Obereinstimmung auftrat und gibt 
ein entsprechendes Signal an eine nicht dargestellte 
Zentraieinheit ab. 

Fig. 8 zeigt ein Prinzipschaltbild einer Korrelations- 
schaltung. Diese Korrelationsschaltung entspricht im 
wesentlichen der der EP 0 296 588, wo sie zur Wiederer- 
kennung von Tonsignalen verwendet wird Durch ent- 
sprechende Aufbereitung der Bildinformation mit den 
Ausfuhrungsbeispielen der Fig. 1 bis 6 kann diese Schal- 
tung auch fur die Wiedererkennung von Bildsignalen 
verwendet werden. Die Ausgange der Speicher 18i— 18 
Index n (Fig. 5) oder des Ausgabespeichers 25 (Fig. 6) 
werden iiber einen nicht dargestellten Pafallel-Serien- 
Wandler als serielles Signal Di N auf eine Leitung 37 
gegeben, und zwar unter Steuerung eines Taktsignales 
O das von einem nicht dargestellten Taktgeber auf einer 
Leitung 38 ankommt. Die seriell ankommenden Signale 
Din werden zunSchst in ein Schieberegister 39 einge- 
schrieben, wobei dieses Schieberegister vom Takt <S> 
(Leitung 38) in Verbindung mit einem Gatter 40 gesteu- 
ert wird. Von diesem Schieberegister 39 gelangen die 
Signale Din byteweise (8 Bit Lange) iiber einen Bustrei- 
ber 41 zu einem Speicher 42, der hier als RAM-Speicher 
mit zwei K x 8 Bit ausgelegt ist Nach einer nicht darge- 
stellten Variante ist es auch moglich, die an den AusgSn- 
gen der Speicher 18 bzw. 25 in paraJleler Form vorlie- 



957 CI 

12 

genden Signale parallel in den Speicher 42 zu uberneh- 
men, was durch das Vollbild-Flag des Speichers 19 ge- 
speichert werden kann. 
Eine Zahlerkette mit hintereinander geschalteten 
5 Zahlern 43, 44 und 45 erhalt liber ein UND-GATTER 46 
das Taktsignal 0 und bestimmt uber seine Ausgange die 
Adressen des Speichers 42, unter denen die vom Bus- 
treiber 41 ankommenden Signale abgespeichert wer- 
den. Hierzu wird der Takt O im Zahler 43 zunachst 
io durch 8 geteilt und als Byteadresse an die AdreBleitun- 
gen AO bis A10 des Speichers 42 gelegt. 

Der 1/0-Obergang bestimmter AdreBleitungen steu- 
ert zwei mit negativen Flanken getriggerte JK-Flip- 
Flops 46 bzw. 47, welche wichtige Steuerfunktionen 
is ubernehmen. Bei einer Lange der Merkmalsvektoren 
von 512 Bit wird bei einem 1/0-Obergang der AdreBlei- 
tung A5 das erste Flip-Flop 46 getriggert, wenn ein 
Merkmalsvektor vollstandig gespeichert ist Dieses 
Flip-Flop wird zu Beginn einer "Lernphase" durch eine 
20 Taste 48 ("Lern-StartausfUhrung") und zwei Gatter 49 
und 50 gesetzt (Ausgang Q « 1 ; Q quer » 0) und kippt 
dann beim 1/0-Obergang der AdreBleitung A5 zurfick 
und loscht die Zahler 43, 44 und 45. Es konnen dann 
weitere Merkmalsvektoren geladen werden, indem die 
25 beiden Zahler 44 und 45 uber hier nicht gezeigte Leitun- 
gen auf eine Startadresse gesetzt werden. Nach jeweils 
weiteren 512 Takten wird wiederum iiber das Flip-Flop 
46 der Vorgang gestoppt. Die mit "Maskenende" be- 
zeichnete Leitung 51, die mit der AdreBleitung A5 ver- 
30 bunden ist, signalisiert einer hier nicht gezeigten Zen- 
traieinheit das Ende des Einschreibevorganges einer 
Maske bzw. eines Merkmalsvektors, wodurch der Takt 
<D unterbrochen wird. 
Wenn alle Merkmalsvektoren in den Speicher 42 ein- 
35 gelesen sind, wird ein Umschalter 70 in die dargestellte 
SteUung "K" fur Korrelieren umgeschaltet Gleichzeitig 
wird der Takt <D erhoht Es werden dann die von den 
Signalvorverarbeitungen der Fig. 5 oder 6 ankommen- 
den, auszuwertenden Signale des laufenden Program- 
40 mes iiber eine Torschaltung 52 in nachfolgend naher 
beschriebener Weise in einen Speicher 53 eingelesen, 
und zwar wiederum mit derselben Taktrate, mit der die 
im Zwischenspeicher 42 abgespeicherten Test-Merk- 
malsvektoren getaktet wurden. Wahrend des Ver- 
45 gleichsvorganges werden nacheinander alle im Speicher 
42 abgelegten Merkmalsvektoren mit dem 512 (bzw. 
510) Bit des Speichers 53 verglichen, indem iiber zu 
diesen Speichern gehorende Zahlerketten 43, 44, 45 zu 
Speicher 42; Zahler 54 und 55 zu Speicher 53, diese 
50 Zahler adreBrichtig ausgelesen werden. Der Zahler 43 
ist nur "einkanalig" belegt und enthalt die letzten 512 Bit 
des an der Leitung 37 anliegenden Signales Din. Der 
Speicher 42 gibt seine Daten iiber einen Multiplexer 56, 
der eine Parallel-Serienwandlung durchfiihrt, an einen 
55 Eingang des Vergleichers ab, der hier als Exklusiv-Oder- 
Gatter 56 ausgefuhrt ist Dem anderen Eingang dieses 
Exklusiv-Oder-Gatters 56 werden die Ausgangssignale 
des Speichers 53 zugefiihrt Bei Obereinstimmung sei- 
ner beiden Eingangssignale (also 0 und 0 oder 1 und 1) 
60 erscheint am Ausgang des Exklusiv-Oder-Gatters 56 ei- 
ne "V\ welche iiber ein Gatter 57 einer Zahlerkette aus 
den zwei 4-Bit-Zahlern 58 und 59 zugefiihrt wird. Jede 
Obereinstimmung der Signale aus den beiden Speichern 
42 und 53 erhoht also den Zahlerstand der Zahlerkette 
65 58, 59 urn eine 1. 

Nach dem Vergleich jeweils eines Merkmalsvektors 
(512 Bit) wird durch ein Triggersignal (AdreBleitung A5) 
fur das Flip-Flop 56 (Leitung "Maskenende") der Zahler- 
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stand der Zahler 58, 59 im D-Register 60, 61 fibernom- 
men und die Zahler 58, 59 anschlieBend geldscht Die 
D-Register 60, 61 geben ihre Daten an einen nicht-dar- 
gestellten Rechner weiter, was ebenfalls fiber das Signal 
auf der Leitung "Maskenende" (Leitung 62) gesteuert 
wird. 

Bei vollstandiger Obereinstimmung von Referenz- 
Merkmalsvektor und Test-Merkmalsvektor kann der 
Zahlerstand der Zahler 58, 59 den Wert 512 enthalten. 
Wegen der fast immer vorhandenen Abtastfehler wird 
der Zahlerstand in der Regler niedriger sein. Die Praxis 
zeigt, daB bei guter Signalaufbereitung etwa 85—95% 
des maximalen Zahlerstandes bei Koinzidenz erreicht 
wird (ein Zahlerstand von 256 ist der Erwartungswert 
bei nicht-korrelierten Signalen). Wenn alle Merkmals- 
vektoren des Speichers 42 mit den aktuell im Speicher 
53 gespeicherten 512 Bit verglichen sind, wird dies — je 
nach Anzahl der Merkmalsvektoren — auf einem der 
Ausgange der Zahler 44 bzw. 45 erkannt und Uber eine 
Leitung 63 dem Flip-Flop 47 gemeldet, welches um- 
schaltet und dafQr sorgt, daB ein Taktimpuls ffir die 
Zahlerkette 43, 44, 45 unterdrQckt wird, wahrend die 
Zahlerkette 54, 55 des Speichers 53 weiterschaltet und 
Ober einen Impuls auf der Leitung 64 (Ausgang des 
Flip- Flop 47) das Tor 52 ffir einen Taktimpuls dffnet und 
damit einen Abtastwert des Signales Din auf der Lei- 
tung 37 in den Speicher 53 einschreibt Dabei schaltet 
die Zahlerkette 54,55 auch urn einen Takt weiter, so daB 
zwischen den Adressen der beiden Speicher sich eine 
bei Vergleich jedes vollstandigen Merkmalsvektor eine 
um eine 1 vergrOBernde Differenz ergibt Damit ist der 
Speicher 53 relativ zum Speicher 42 wie ein Schiebere- 
gister organisiert, welches nach einem Durchlaufen bzw. 
Vergleichen aller Merkmalsvektoren des Speichers 42 
um einen Schritt weiter schaltet 

Sobald das ein Durchlaufen aller Merkmalsvektoren 
anzeigende Signal auf der Leitung 63 verschwindet, 
wird das Flip-Flop 47 fiber das nachste Taktsignal 0>, 
welches fiber Gatter 64, 65 und 66 zu dessen Rucksetz- 
eingang R gelangt, wieder rfickgesetzt, wodurch das 
Gatter 46, welches die Taktimpulse zu der Zahlerkette 
43, 44, 45 laBt, wieder freigegeben wird. Kurz zusam- 
mengefaBt werden also innerhalb von 40 ms, d. h. der 
Zeitdauer zum Abtasten eines Vollbildes des Videosi- 
gnales alle gespeicherten Merkmalsvektoren zu je 
512 Bit verglichen. Das Flip-Flop 46 fiberwacht dabei 
den einzelnen Merkmalsvektor (512 Bit), w&hrend das 
Flip-Flop 47 die Gesamtzah! aller gespeicherten Merk- 
malsvektoren fiberwacht Je nach Anzahl der im Spei- 
cher 42 gespeicherten Merkmalsvektoren ist der Takt- 
eingang (Leitung 63) des Flip-Flop 47 mit einem ande- 
ren Ausgang der Zahlerkette 44, 45 verbunden. 

Im beschriebenen Ausfflhrungsbeispiel wird der Ver- 
gleich seriell mit einem Exklusiv-Oder-Gatter 56 durch- 
geffihrt Da die Taktfrequenz ftir den Vergleich mit der 
Anzahl der gespeicherten Merkmalsvektoren steigt, ist 
die Anzahl der Merkmalsvektoren durch die maximale 
Arbeitsfrequenz der digitalen Bausteine begrenzt Es ist 
daher prinzipiell auch moglich, mehrere parallel arbei- 
tende Vergleiche einzusetzen, sei es, daB der Vergleich 
byteweise (8 Bit) durchgeftihrt wird, sei es auch, daB im 
Extremfall alle 512 Bits parallel in 512 parallelen EX- 
OR-Gattern verglichen wfirden. Letzteres ist allerdings 
relativ aufwendig, da Speicher mit 512 Ausgangen ben6- 
tigt wfirden. 

Weiterhin ist es prinzipiell auch mdglich, mehrkanalig 
zu arbeiten, dergestalt, daB zwei oder mehrere Sender 
fiberwacht werden. Hierzu konnte man entweder den 



Speicher 53 vergrSBern und derart organisieren, daB 
zwei verschiedene Eingangssignale Din parallel bzw. 
zeitlich verschachtelt eingelesen und verglichen werden 
oder daB statt des einen Speichers 53 pro Kanal ein 

5 eigener entsprechender Speicher vorgesehen ist. 

SchlieBlich ist es auch mSglich, den Speicher 42 als 
Datenbank zu organisieren und fiber einen Suchalgo- 
rithmus zu untersuchen, ob der im Speicher 53 vorhan- 
dene "Datensatz" in der Datenbank'* des Speichers 42 

io vorhanden ist Der Suchalgorithmus kann dabei auch so 
aufgebaut sein, daB nicht nur nach "identischen" Daten- 
satzen, sondern nach "ahnlichen" Datensatzen (Daten- 
satz » ein Merkmalsvektor) gesucht wird. 
Da es bei der Wiedererkennung von Bildern bzw. 

15 Bildfolgen nicht nur darauf ankommt, ob eine der zu 
fiberwachenden Bildfolgen gespielt wurde, sondern 
auch darauf, welche von diesen, kann gleichzeitig mit 
dem Korrelationsergebnis der Zahlerkette 58, 59 der 
Zahlerstand der Zahlerkette 43, 44, 45 abgefragt und in 

20 die nicht dargestellte Zentraleinheit eingegeben wer- 
den. Damit ist es mCglich, den aktuell erkannten Merk- 
malsvektor (Bildfolge) zu identifizieren und dieses Iden- 
tifikationsergebnis zusammen mit Datum und Uhrzeit 
und ggf. auch den Oberwachten Sendekanal zu spei- 

25 chern oder auszugeben. 

Zu den Speichern 42 und 53 ist noch anzumerken, daB 
die mit WE/quer bzw. OE/quer bezeichneten Eingange 
Steuereingange sind, wobei der Eingang WE/quer ein 
negierter "write enable'-Eingang ist, der das Einschrei- 

30 ben in den Speicher steuert, wahrend der Eingang OE/ 
quer ein negierter w output-enabIe"-Eingang ist, der das 
Auslesen von Daten aus dem Speicher steuert Durch 
die diesen Eingangen vorgeschalteten Gatter wird die 
Verbindung mit dem Taktsignal O und dem Signal auf 

35 der Leitung 64 bezfiglich des Speichers 53 bzw. durch 
die Stellung des Schalters 70 und das die Obertragung 
eines Bytes (8 Bit) aus dem Speicher 42 identifizierende 
Signal des Zahlers 43 fflr den Speicher 42 fiberwacht, 
daB die beiden Speicher 42 und 53 nur zu den jeweils 

40 richtigen Zeitpunkten ausgelesen bzw. eingeschrieben 
werden kdnnen. Die ubrigen in der Zeichnung darge- 
stellten, jedoch in der Beschreibung nicht ausdrficklich 
erwahnten Gatter bzw. deren externe Beschahungen 
dienen ebenfalls der richtigen Funktion der Ablauf- 

45 steuerung, wobei deren Funktion dem Fachmann ohne 
weiteres ersichtlich ist, bzw. sich beim Aufbau der dar- 
gestellten Schaltung von selbst einstellt 
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Patentansprfiche 

1. Verfahren zum Wiedererkennen von unikaten 
Bildsignalen, gekennzeichnet durch folgende 
Schritte: 

a) Aus Helligkeitswerten einer Anzahl n von 
Pixeln an mehreren vorbestimmten Stellen je- 
des Vollbildes wird je ein erstes Helligkeitssi- 
gnal ermittelt, 

b) diese ersten Helligkeitssignale von in einer 
vorgegebenen Reihenfolge aufeinanderfol- 
genden Stellen werden voneinander subtra- 
hiert, 

c) die Vorzeichen dieser Differenzen werden 
je als 1 Bitdigitalisiert(Signumfunktion), 

d) die digitalisierten Signale werden als Test- 
Bitfolge (Merkmalsvektor) abgespeichert, 

e) die Schritte a) bis d) werden ffir eine Anzahl 
m (z.B. 51) aufeinanderfolgende Vollbilder 
wiederholt, 
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f) zu untersuchende Bildsignale werden in glei- 
cher Weise (Schritte a) bis e)) zur Erzeugung 
einer Referenz-Bitfolge (Referenz-Merkmals- 
vektor) aufbereitet und 

g) jede Test-Bitfolge wird mit alien Referenz- 5 
Bitfolgen verglichen und bei Oberschreiten ei- 
nes vorgegebenen MaBes der Obereinstim- 
mung wird ein Signal fiir "Bildfolge" wiederer- 
kannt erzeugt 

2. Verfahren nach Anspruch I, dadurch gekenn- 10 
zeichnet, daB in Schritt a) raumlich zusammenhan- 
gende Pixel eines Bildes einen Cluster bilden, des- 
sen Helligkeitssignal ermittelt wird. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Pixel jedes Clusters in Form eines 15 
Quadrates unmitteibar benachbarter Pixel ange- 
ordnet sind 

4. Verfahren nach Anspruch 3, dadurch gekenn- 
zeichnet, daB jeder Cluster 5x5 Pixel enthalt. 

5. Verfahren nach einem der Anspruche 2 bis 4, 20 
dadurch gekennzeichnet, daB die Helligkeitswerte 
(Luminanzwerte) aller Pixel eines Clusters zu dem 
Helligkeitssignal aufsummiert werden. 

6. Verfahren nach einem der Anspriiche 2 bis 4, 
dadurch gekennzeichnet, daB der arithmetische 25 
Mittelwert der Helligkeitswerte aller Pixel eines 
Clusters das Helligkeitssignal bildet 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB das Subtrahieren der 
Helligkeitssignale von in einer vorgegebenen Rei- 30 
henfolge benachbarten Stellen und das Digitalisie- 
ren der Vorzeichen dieser Differenzen in einem 
Arbeitsschritt mittels eines Comparators durchge- 
fiihrtwird. 

8. Verfahren nach einem der Anspruche 2 bis 7, 35 
dadurch gekennzeichnet, daB die Cluster statistisch 
iiber die Flache des Vollbildes verteilt sind. 

9. Verfahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daB die Reihenfolge, in der die Hellig- 
keitssignale benachbarter Cluster voneinander 40 
subtrahiert bzw. miteinander verglichen werden, so 
festgelegt ist, daB der Mittelwert der raumlichen 
Abstande der in dieser Reihenfolge jeweils benach- 
barten Cluster einen Maximalwert einnimmt. 

10. Verfahren nach Anspruch 9, dadurch gekenn- 45 
zeichnet, daB der in der Reihenfolge letzte Cluster 
mit dem ersten Cluster des nachsten Vollbildes ver- 
glichen wird. 

11. Verfahren nach Anspruch 9, dadurch gekenn- 
zeichnet, daB der in der Reihenfolge letzte Cluster 50 
mit dem ersten Cluster des nachstfolgenden Voll- 
bildes verglichen wird. 

12. Verfahren nach einem der Anspruche 8 bis 11, 
dadurch gekennzeichnet, daB mindestens zwei von- 
einander verschiedene Clusteranordnungen (Mas- 55 
ken) vorgesehen sind und daB aufeinanderfolgende 
Vollbilder mit zyklisch abwechselnder Clusteran- 
ordnung (Masken) abgetastet werden. 

13. Verfahren nach Anspruch 12, dadurch gekenn- 
zeichnet, daB bei Verwendung von zwei Clusteran- 60 
ordnungen (Masken) diese einander gleich jedoch 
gegenuber einem abzutastenden Bild um 90 Grad 
gegeneinander gedreht sind. 

14. Verfahren nach Anspruch 12 oder 13, dadurch 
gekennzeichnet, daB jede Testbildfolge mit alien 65 
zyklischen Clusterfolgen (Masken) abgetastet wird, 
daB jede Referenzbildfolge nur mit einer zyklischen 
Clusterfolge (Maske) abgetastet wird und daB jede 
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so ermittelte Referenzbitfolge nur mit einer ausge- 
wahlten der verschiedenen Testbildfolgen korre- 
liert wird. 

15. Verfahren nach einem der Anspruche 1 bis 14, 
dadurch gekennzeichnet, daB der Vergleich jeder 
Test-Bitfolge mit alien Referenzbitfolgen jedesmal 
dann stattfindet, wenn ein Vollbild abgetastet isL 

16. Vorrichtung zur Durchfiihrung des Verfahrens 
nach einem der Anspruche 1 bis 15, gekennzeichnet 
durch: 

— einen Taktaufbereitungsschaltkreis (12), der 
aus einem Videosignal mindestens ein Zeilen- 
taktsignal und ein Spaltentaktsignal erzeugt, 

— ein Codierfeld (14), das vorbestimmte Pixel 
des im Videosignal enthaltenen Bildes bezeich- 
net, 

— eine Steuereinrichtung (13), die mit dem 
Taktaufbereitungsschaltkreis (12) und dem 
Codierfeld (14) verbunden ist und mindestens 
einen Summierer (21; I61 — 16n+2), so ansteu- 
ert, daB Luminanzwerte des Videosignales, der 
von dem Codierfeld (14) vorbestimmten und 
durch das Zeilentaktsignal und das Spalten- 
taktsignal identifizierten Pixel in zu Clustern 
zusammengefaBten Gruppen aufsummiert 
werden, 

— eine Vergleichseinrichtung (24; 17i — 17 n ) in 
der die Summensignale der einzelnen Cluster 
mit Summensignalen anderer vorbestimmter 
Cluster verglichen werden und pro Vergleich 
ein digitales Signal in Form eines Bits erzeugt 
wird, das anzeigt, welcher der beiden vergli- 
chenen Cluster einen groBeren Luminanzwert 
hat, 

— einen Speicher (25; I81, 18n), in dem die 
Vergleichsergebnisse gespeichert werden und 

— eine Korreliereinrichtung (Fig. 7), in wel- 
cher der Inhalt des. Speichers (25; I81 . . . 18 n ) 
mit in einem weiteren Speicher (30; 42) gespei- 
cherten Testbildmustern in einer vorbestimm- 
ten Taktfolge Iaufend korreliert werden. 

17. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB die Summierer Integratoren 
(I61 — 16 n +2) sind, die uber von der Steuereinrich- 
tung (13) angesteuerte Schalter (15i — 15 n +2) mit 
dem Videosignal beaufschlagt werden. 

18. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB der Summierer eine arithme- 
tisch/logische Recheneinheit (21) ist, deren einem 
Eingang uber einen Analog/Digital- Wandler (20) 
ein digitalisiertes Videosignal und deren anderem 
Eingang ein in einem Zwischenspeicher (22, 23) 
zwischengespeicherter Wert zugefQhrt wird und 
deren Ausgang mit dem Zwischenspeicher (22, 23) 
verbunden ist 

19. Vorrichtung nach Anspruch 17, dadurch ge- 
kennzeichnet, daB die Ausgange der Integratoren 
(I61 — 1 6n+2) jeweils paarweise mit einem Kompa- 
rator (17i — 17 n ) verbunden sind, der die in den zu- 
geordneten Integratoren aufsummierten Lumi- 
nanzsignale vergleicht und in Abhangigkeit von 
diesem Vergleich ein Signal an den Speicher 
(I81 — 18 n )ausgibt. 

20. Vorrichtung nach Anspruch 19, dadurch ge- 
kennzeichnet, daB einem Eingang der Komparato- 
ren (17i — 17 n ) zusatzlich ein vorbestimmter 
Schwellwert hinzuaddiert wird. 

21. Vorrichtung nach Anspruch 18, dadurch ge- 
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kennzeichnet, daB die in den Zwischenspeichern 
(22, 23) ftir die einzelnen Cluster abgespeicherten 
Summensignale unter Steuerung eines Mikropro- 
zessors (24) in vorbestimmter Reihenfolge mitein- 
ander verglichen werden und das Vergleichsergeb- 5 
nis in den Speicher (25) abgelegt wird. 
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